\documentclass[a4paper]{article}

\usepackage{amsmath}
\usepackage{ctex}
\usepackage{graphicx}
\usepackage{float}
\usepackage[colorlinks,citecolor=blue]{hyperref}
\usepackage{url}
\usepackage{indentfirst}
\usepackage[left=3.0cm, right=2.5cm, top=2.5cm, bottom=2.0cm, bindingoffset=0.5cm]{geometry}

\usepackage[numbers,sort,compress]{natbib}
\bibliographystyle{plain}

\usepackage{fontspec}
\setmainfont{Times New Roman}
\setlength{\parindent}{2em}

\title{中期汇报——基于生成对抗网络的天体图像超分辨率重构}
\author{10205101439 张起源}



\zihao{4}
\linespread{1.5}

\begin{document}
	\maketitle
	
	\section{目前进展情况}
	目前已经初步完成了论文预期的目标，即对天体图像的超分辨率。根据参考论文中的基本模型，设计了针对天体图像的超分辨率模型，并通过astrobin网站收集了16000张天体摄影图像，对模型进行训练。截止到3月8日，已经训练并保存了3个模型，下表说明了这三个模型的区别
	\begin{table}[htbp]
		\centering
		\caption{已经训练并保存的模型}
		\begin{tabular}{|l|c|r|}
			\hline
			模型 & 有无BN层 & 损失函数 \\
			\hline
			1 & 有 & MSE	\\
			2 & 无 & MSE	\\
			3 & 无 & Smooth L1 \\
			\hline
		\end{tabular}
		\label{tab:table_models}
	\end{table}
	\par
	其中模型1是Ledig的论文中提出的模型\cite{srgan}。在读ESRGAN\cite{esrgan}这篇论文时作者提到删除BN层能够去掉GAN网络所生成图像中的伪影(BN层的作用是加速训练)，所以对模型1进行调整，删除了其BN层，训练得到了模型2，但发现效果不够显著。后通过读一些论文和博客，发现不同研究领域会采用不同的或设计新的损失函数，模型1和2中的损失函数均为MSE损失函数，该损失函数容易受到离群点的影响，理论上不适合作为对天体图像进行超分辨率的损失函数，所以在模型3中采用了Smooth L1作为损失函数，结果发现相较于模型1和2，其结构相似性指标SSIM从0.757上升至0.800，峰值信噪比指标PSNR从30.694上升到31.656，效果显著，并且出现的亮度和对比度问题都没有模型1和2严重。
	\begin{figure}[H]
		\centering
		\includegraphics[width=1\linewidth]{"../../../Downloads/result (1)"}
		\caption{从左往右依次为原图、低分辨率图、模型1、模型2、模型3}
		\label{fig:result-1}
	\end{figure}
	
	\section{目前遇到的问题}
	目前遇到的问题主要有两个，伪影以及亮度和对比度问题。
	\subsection{伪影}
	伪影问题几乎是所有GAN模型任务难以避免的，但在某些情况下可以通过一些技巧减少伪影的产生。根据惯例，将伪影问题主要分为两类，一种是训练产生的伪影，另一种是推断过程中产生的伪影。第一种往往是由于GAN训练的不稳定性产生的，一般可以通过类似Locally Discriminative Learning\cite{ldl}的方法进行消除。而第二种则是由将模型应用于和测试数据存在差异的数据时产生的，已有的数据建模和训练方案无法解决该类伪影，并且这类伪影并没有出现在MSE-SR模型，也就是本研究中的ResNet网络。
	\par 
	在本研究中，产生的伪影主要集中在图像中密集的亮点附近，这种类型的区域中包含亮度不一的恒星，通过降采样并超分辨率后，GAN网络会生成相较于原图更多的亮点，产生了伪影。
	\subsection{亮度和对比度问题}
	在最初使用模型1进行测试时，发现相较于原图和ResNet网络生成的超分图，GAN网络生成的图像亮度和对比度出现了问题。在图像中恒星密集的区域，一些恒星亮度高，一些低，但是经过降采样和GAN网络生成后，这些区域的恒星几乎变成了一致的亮度。此外，图像中某些结构的对比度也出现了问题，相较于原图，暗的地方变得更暗，亮的地方变得更亮。这种问题也是ResNet网络没有的，具体可以参考图1中左侧边缘部分。
	\section{后续撰写计划}
	后续将主要围绕解决上述两种问题进行。针对这两种问题，目前准备的解决方案主要有扩大训练数据集、更换损失函数、引入自注意力机制。在对模型1进行初次训练时，使用了6000张图片的数据集，后扩大到16000张数据及后，伪影出现的程度和亮度、对比度的问题均有所减弱。更换损失函数也在一定程度上改善了这种问题，目前只尝试了将MSE损失函数更换为Smooth L1损失函数。在之前查阅文献时，发现自注意力机制能够关注全局的细节，而非只关注局部的细节，这对亮度不均衡的情况或许有所帮助。
	\par
	最初的文献调研只关注了超分辨率领域的发展情况，但发现了上述问题后，也准备调研损失函数的情况，找到适合对天体图像进行超分辨率的损失函数。因此，接下来将根据上述问题的解决程度，逐步完成论文的撰写工作。
	\bibliography{citation}
\end{document}